選擇完模型後，
接下來要進行「超參數調整」，
但是其實對模型的提升有限。

何謂超參數

• LASSO、Ridge：α 的⼤小
• 決策樹：樹的深度、節點最小樣本數
• 隨機森林：樹的數量

以上都是模型的「超參數」，
調整超參數會直接影響模型的訓練結果，
可以先用預設值，再慢慢調整。

調整方法

• 窮舉法 (Grid Search)
  直接指定超參數的組合範圍，每一組參數都訓練完成，再根據驗證集的結果選擇最佳參數。

• 隨機搜尋 (Random Search)
  指定超參數的範圍，⽤均勻分布進⾏參數抽樣，⽤抽到的參數進⾏訓練，再根據驗證集的結果選擇最佳參數。

調整步驟

參考文章Scanning hyperspace: how to tune machine learning models，

1. 先將資料切分為訓練/測試集，測試集保留不使用
2. 將剛切分好的訓練集，再使⽤Cross-validation 切分 K 份訓練/ 驗證集
3. ⽤grid/random search 的超參數 進⾏訓練與評估
4. 選出最佳的參數，⽤該參數與全部訓練集建模
5. 最後使⽤測試集評估結果

真正重要的還是先前的EDA和特徵工程，
超參數調整只能微幅下降loss，
所以不要花太多時間在此。

以上，打完收工。